Projeto1-Tarefa2

• Este Projeto demonstra na prática o processo de modelagem de séries temporais, começando do mais absoluto zero e caminhando passo a passo até as tarefas mais avançadas.
• Nosso trabalho é construir um modelo capaz de prever o volume de usuários ativos em um web site ao longo do tempo.
• Usaremos dados fictícios que representam informação real.

• Perceba que são duas colunas.
  • Esses dados representam uma série univariada, pois temos uma variável aleatória (usuarios_ativos) e a data, que representa o índice da série.
  • Veja que a série é mensal.
• Vamos ajustar o nome de cada coluna.

• Transformamos a coluna de data no índice do conjunto de dados.
• Agora sim podemos chamar esse conjunto de dados de série temporal.
  • Vamos visualizar o índice:

• O gráfico acima mostra 2 componentes da série: Sazonalidade e Tendência.
  • Sazonalidade: O fenômeno se repete em períodos fixos.
  • Tendência: Ao longo do tempo, a série segue uma tendência de crescimento.

• Outro aspecto a considerar é o comportamento cíclico.
  • Isso acontece quando o padrão de subida e descida da série não ocorre em intervalos fixos baseados em calendário.
  • Deve-se tomar cuidado para não confundir efeito "cíclico" com efeito "sazonal".
  • Mas, como diferenciar um padrão "cíclico" versus "sazonal"?
    • Se os padrões não tiverem frequências fixas baseadas em calendário, será cíclico.
      • Porque, diferentemente da sazonalidade, os efeitos cíclicos são tipicamente influenciados pelos negócios e outros fatores socioeconômicos.

• Antes de iniciar qualquer modelagem preditiva em séries temporais é necessário verificar se essas propriedades estatísticas são constantes na série temporal:
  • Estacionariedade: a série temporal deve ser estacionária, ou seja, suas características estatísticas, como média e variância, não mudam ao longo do tempo.
  • Não-autocorrelação: as observações da série temporal não devem ser fortemente correlacionadas com observações anteriores.
  • Normalidade: é frequentemente pressuposto que as observações da série temporal são distribuídas normalmente (seguem uma distribuição normal).

• Compreendendo os Conceitos de Distribuição Normal, Média e Variância

Vamos explorar cada um desses conceitos:

• Distribuição Normal (ou Gaussiana)
  • A distribuição normal é uma das distribuições de probabilidade mais importantes e comuns em estatística.
  • É caracterizada por sua forma de sino e é simétrica em relação à sua média.
• Características:
  • Simetria: A curva é simétrica ao redor da média, o que significa que a metade da população está à esquerda da média e a outra metade à direita.
  • Pontos de inflexão: A curva tem pontos de inflexão onde a mudança da concavidade ocorre, localizados a um desvio padrão à esquerda e à direita da média.
  • Área sob a curva: A área total sob a curva de distribuição normal é igual a 1, o que representa a totalidade da probabilidade.
  • Aplicações: É utilizada para modelar fenômenos naturais, notas de testes, erros de medição, entre outros.

Média

• A média é uma medida de tendência central que descreve o valor "central" ou "típico" de um conjunto de dados.
• É calculada somando todos os valores do conjunto de dados e dividindo pelo número total de valores.
• Serve como um ponto de referência para comparar os valores individuais do conjunto de dados.

Variância

• A variância é uma medida de dispersão que indica o quão espalhados estão os valores em um conjunto de dados em relação à média.
• Quanto maior a variância, mais distantes estão os valores da média.
• Uma variância baixa indica que os dados estão agrupados perto da média, enquanto uma variância alta indica que os dados estão mais espalhados.

• A distribuição normal utiliza a média e a variância como parâmetros fundamentais para sua definição, onde a média determina o centro da distribuição e a variância determina o quão achatada ou estreita é a curva.
• Esses conceitos estão intrinsecamente ligados e são essenciais para a análise de dados e a tomada de decisões baseadas em evidências estatísticas.

• As estatísticas móveis, também conhecidas como estatísticas rolantes ou estatísticas deslizantes, são uma técnica usada na análise de séries temporais para calcular estatísticas, como média, mediana, soma, variância e desvio padrão, em uma janela deslizante de tamanho fixo ao longo da série.
  • A ideia é analisar e entender as mudanças nas estatísticas locais ao longo do tempo, o que pode ajudar a identificar tendências, sazonalidade, pontos de mudança e outras características dos dados.
• Para calcular estatísticas móveis, você define uma janela de tamanho 'n' (onde n é um número inteiro) e move a janela ao longo da série temporal, calculando a estatística desejada para cada subconjunto de dados dentro da janela.
  • A janela avança uma observação de cada vez e o cálculo é repetido até que a janela alcance o final da série.
• Por exemplo, para calcular a média móvel de uma série temporal, você seleciona uma janela de tamanho n e calcula a média dos valores dentro da janela.
  • Em seguida, a janela é deslocada uma posição à frente e a média é recalculada para os novos valores na janela.
    • Esse processo é repetido até que a janela atinja o final da série temporal.

• O rolling() método do Pandas
  • Oferece funcionalidade para realizar cálculos de janela deslizante em objetos Series ou DataFrame.
  • Isso é particularmente útil para análise de séries temporais e processamento de sinais, onde é necessário calcular estatísticas sobre um subconjunto móvel de dados.
  • Conceitos-chave:
    • Janela deslizante: Um intervalo ou subconjunto de dados de tamanho fixo que se move sequencialmente através de um conjunto de dados maior.
    • Tamanho da janela: O número de pontos de dados ou o período de tempo incluído em cada janela móvel. Isso pode ser especificado como um número inteiro (número de linhas)
      • ou um deslocamento baseado em tempo (por exemplo, '7D' para 7 dias).
    • Operações de laminação: Após definir a janela, diversas operações estatísticas ou personalizadas podem ser aplicadas a cada janela, tais como:
      • mean() Calcula a média móvel.
      • sum() Calcula a soma acumulada.
      • min() Calcula o mínimo móvel.
      • max() Calcula o máximo acumulado.
      • std() Calcula o desvio padrão móvel.
      • apply() Permite aplicar funções personalizadas a cada janela.
• Uso básico:
  • Para usar rolling(), primeiro você o chama em uma Series ou DataFrame, especificando o windowtamanho.
  • Em seguida, você encadeia uma função de agregação desejada.

• Análise:
  • Observamos que a média móvel e o desvio padrão não são constantes em relação ao tempo (tendência crescente).
    • A série não é, portanto, estacionária.

• Interpretação dos Gráficos:
  • No gráfico, o eixo vertical indica a autocorrelação e o horizontal a defasagem.
  • A área sombreada indica onde é significativamente diferente de zero.
    • Como é possível ver na imagem, temos diversos valores ACF (barras verticais) acima do limite da área sombreada.
    • Nesses casos, a autocorrelação é diferente de zero, indicando que a série não é aleatória – conforme o esperado.
  • Algumas barras verticais estão dentro do limite da área sombreada.
    • Ou seja, a autocorrelação entre a série com alguns de seus lags é igual a zero, indicando que não há correlação.

• Em termos simples: a área sombreada aponta a significância.
  • Se ultrapassada é porque tem correlação.

• Cada barra no gráfico ACF representa o nível de correlação entre a série e seus atrasos em ordem cronológica.
  • A área sombreada indica se o nível de correlação entre a série e cada atraso é significativo ou não.

• O PACF é apenas uma visualização parcial do ACF.

• Análise:
  • Se a série temporal for estacionária, os gráficos do ACF / PACF mostrarão uma "queda rápida na correlação" após um pequeno atraso entre os pontos.
    • Não é o caso em nossos gráficos.
    • A queda lenta (redução do tamanho das barras) indica que essa série não é estacionária.
• Os dados da nossa série não são estacionários, pois um número alto de observações anteriores está correlacionado com valores futuros.
  • Intervalos de confiança são desenhados na área sombreada.
    • Por padrão, isso é definido como um intervalo de confiança de 95%, sugerindo que os valores de correlação fora desta área provavelmente são uma correlação e não um acaso estatístico.
• Teremos que transformar essa série em estacionária antes de criar um modelo preditivo. Veremos isso mais adiante.

• Aqui estão os principais aspectos que você busca ao interpretar um gráfico ACF:
  • 1. Dependência Temporal
    • ACF mede a correlação entre observações de uma série temporal separadas por diferentes lags (defasagens).
    • Um pico significativo em um lag específico indica que os valores na série temporal estão correlacionados com seus valores em lags anteriores.
    • Isso é fundamental para identificar se a série possui dependência temporal.
  • 2. Identificação de Sazonalidade
    • Se o gráfico ACF mostra picos regulares em intervalos específicos, isso pode indicar a presença de sazonalidade na série.
    • Por exemplo, um pico significativo a cada 12 lags em dados mensais pode sugerir um padrão sazonal anual.
  • 3. Determinação da Ordem de Modelos ARIMA
    • Para modelos ARIMA (AutoRegressive Integrated Moving Average), a análise do gráfico ACF (junto com o PACF - Função de Autocorrelação Parcial) pode
      • ajudar a determinar a ordem dos componentes AR (autoregressivos) e MA (médias móveis).
    • Por exemplo, um declínio gradual no ACF sugere componentes AR, enquanto um corte brusco após um lag específico sugere componentes MA.
  • 4. Estacionariedade
    • Uma série temporal é estacionária se sua média e variância permanecem constantes ao longo do tempo.
    • No gráfico ACF, uma diminuição muito lenta ou a ausência de diminuição nas autocorrelações pode indicar que a série não é estacionária.
    • A estacionariedade é muitas vezes um pré-requisito para a modelagem eficaz de séries temporais.
  • 5. Ruído Branco
    • Se todas as autocorrelações são insignificantes (ou seja, próximas de zero para todos os lags), a série pode ser um ruído branco, indicando que os valores são independentes e identicamente distribuídos.
    • Isso significa que a série não possui padrões previsíveis ou dependência temporal significativa.

• O Que é Um Teste de Hipóteses?

• Um teste de hipóteses é um procedimento estatístico que permite tomar decisões sobre uma população com base em dados amostrais.
• Esse método é utilizado para avaliar duas hipóteses mutuamente exclusivas sobre uma população:
  • a hipótese nula (H0) e
  • a hipótese alternativa (H1 ou Ha).

• Hipótese Nula (H0): É uma afirmação de que não há diferença ou efeito, ou que um parâmetro de interesse é igual a um valor específico.
  • Por exemplo, H0 pode afirmar que a média de uma população é igual a um valor conhecido.

• Hipótese Alternativa (H1 ou Ha): É a hipótese que se quer provar ou que se acredita ser verdadeira.
  • Contrapõe-se à hipótese nula e geralmente é formulada para indicar a presença de um efeito ou diferença.
  • Por exemplo, Ha pode afirmar que a média de uma população é diferente de um valor conhecido.

• O teste de hipóteses é realizado seguindo estes passos básicos:
  • Formulação das hipóteses: Definem-se a hipótese nula e a hipótese alternativa.
  • Escolha do nível de significância (α): O nível de significância representa a probabilidade de rejeitar a hipótese nula quando ela é verdadeira.
    • Valores comuns são 0,05 (5%) ou 0,01 (1%).
  • Seleção do teste estatístico: O teste a ser utilizado depende da natureza dos dados e do objetivo do estudo.
    • Exemplos incluem o teste t, teste de qui-quadrado, ANOVA, entre outros.
  • Cálculo do teste estatístico e valor-p: O teste estatístico é calculado a partir dos dados da amostra.
    • O valor-p é a probabilidade de obter um resultado tão extremo quanto o Observado (ou mais) sob a hipótese nula.
  • Decisão: Compara-se o valor-p com o nível de significância α.
    • Se o p-valor for menor que α, rejeita-se a hipótese nula em favor da hipótese alternativa.
    • Caso contrário, não se rejeita a hipótese nula.

• Este método é amplamente usado em diversas áreas do conhecimento para testar teorias, comparar grupos, verificar a eficácia de tratamentos e muito mais,
  • sempre com o objetivo de tomar decisões informadas com base em evidências empíricas.
• E usamos testes de hipóteses amplamente na análise e modelagem de séries temporais.

• O Teste Estatístico Dickey-Fuller Aumentado (ADF, do inglês Augmented Dickey-Fuller) é uma versão ampliada do teste de Dickey-Fuller, usado para verificar a presença de raiz unitária em uma série temporal, ou seja, para testar a estacionariedade da série.
• Uma série temporal é considerada estacionária quando suas propriedades estatísticas, como média e variância, são constantes ao longo do tempo.
  • A presença de uma raiz unitária indica que a série é não estacionária, o que pode afetar a análise e a modelagem dessa série.
• O teste ADF é particularmente útil porque pode acomodar uma estrutura de autocorrelação mais complexa em comparação com o teste Dickey-Fuller original.
  • Isso é feito incluindo termos de defasagem da variável dependente (lags) na equação de teste para controlar a autocorrelação serial.
• Estas são as hipóteses do teste:
  • Hipótese Nula (H0): A série possui uma raiz unitária (γ=0), indicando não estacionariedade.
  • Hipótese Alternativa (H1): A série não possui raiz unitária (γ<0 para o caso unicaudal), indicando estacionariedade.
• Ou, de forma mais simples:
  • Hipótese Nula (H0): A série temporal não é estacionária.
  • Hipótese Alternativa (H1) - A série temporal é estacionária.

• A adfuller função em Python
  • Faz parte da statsmodels.tsa.stattools biblioteca, realiza o teste de Dickey-Fuller Aumentado (ADF) para estacionariedade em uma série temporal.

• Propósito:
  • O teste ADF determina se uma série temporal possui uma raiz unitária, indicando não estacionariedade.
  • A estacionariedade é uma premissa crucial para muitos modelos de séries temporais, como o ARIMA.

• Hipóteses:
  • Hipótese nula (H0): A série temporal possui uma raiz unitária (ou seja, não é estacionária).
  • Hipótese Alternativa (H1): A série temporal é estacionária.

• Interpretação dos resultados: Trata result-se de uma tupla contendo diversos valores, sendo o mais importante:
  • Estatística ADF: A estatística de teste.
  • Valor p: A probabilidade de observar a estatística de teste (ou uma mais extrema) se a hipótese nula fosse verdadeira.
  • Valores críticos: Limiares para diferentes níveis de significância (por exemplo, 1%, 5%, 10%).
• Uma forma comum de interpretar o resultado é comparar o valor p a um nível de significância (por exemplo, 0,05):

• Parâmetros principais:
  • x: A série de dados unidimensional em formato de matriz a ser testada.
  • maxlag: O atraso máximo a ser incluído no teste (o padrão é um valor determinado automaticamente).
  • regression: Especifica a ordem da constante e da tendência a serem incluídas na regressão ("c" para constante, "ct" para constante e tendência, etc.).
  • autolag: Determina o método para selecionar automaticamente o comprimento do atraso ("aic", "bic", "tstat", "max").

• Interpretação:
  • Se o valor p for menor ou igual ao nível de significância escolhido (por exemplo, 0,05), você rejeita a hipótese nula e conclui que a série temporal é estacionária.
  • Se o valor p for maior que o nível de significância, você não rejeita a hipótese nula, sugerindo que a série temporal não é estacionária.

• Análise:
  • O Valor-p é maior que 0.05.
    • "Não temos evidências estatísticas para rejeitar a hipótese nula de que a série não é estacionária".
    • Logo, podemos concluir que a série NÃO é estacionária.

• Compreendendo os Conceitos de AIC (Critério de Informação de Akaike) e Valor-p
  • Os conceitos de Critério de Informação de Akaike (AIC, do inglês "Akaike Information Criterion") e Valor-p são fundamentais em estatística, modelagem e testes de hipóteses.
    • Eles servem a propósitos diferentes mas importantes na análise de dados, seleção de modelos e inferência estatística.

• Critério de Informação de Akaike (AIC):
  • O AIC é uma métrica usada para comparar modelos estatísticos considerando a qualidade do ajuste e a complexidade do modelo.
  • O objetivo é selecionar o modelo que melhor explica os dados com a menor quantidade de parâmetros, equilibrando assim entre a adequação do modelo e sua simplicidade.
  • Um valor menor de AIC indica um modelo preferível.
  • A diferença entre os valores de AIC para dois modelos também é importante; uma diferença de 2 a 3 pontos já é considerada substancial.
  • Entretanto, o AIC não fornece um teste de hipótese mas sim uma ferramenta de comparação relativa entre modelos.
  • O AIC é amplamente utilizado em muitos campos para seleção de modelos, especialmente quando se lida com modelos regressivos, de séries temporais e outros modelos complexos.

• Valor-p:
  • O Valor-p é uma métrica usada em testes de hipóteses para avaliar a força da evidência contra a hipótese nula.
  • Ele quantifica a probabilidade de observar um resultado tão extremo quanto o resultado do teste, assumindo que a hipótese nula é verdadeira.

• Interpretação:
  • Um Valor-p baixo (tipicamente ≤ 0,05) indica que os dados observados são improváveis sob a suposição da hipótese nula, levando à rejeição da hipótese nula.
  • Um Valor-p alto sugere que os dados observados são consistentes com a hipótese nula e não há evidência suficiente para rejeitá-la.
  • O Valor-p é usado para determinar a significância estatística de um efeito observado.
  • É fundamental em pesquisa científica, testes A/B e qualquer cenário onde testes de hipóteses são aplicados.
  • Uma interpretação cuidadosa é necessária; um Valor-p baixo não prova que a hipótese alternativa é verdadeira, apenas indica incompatibilidade com a hipótese nula.

• E aqui um presente para você. Uma função que executa o teste de estacionaridade e pode ser aplicada a qualquer série para testar se ela é ou não estacionária.
  • Se a série não for estacionária, teremos que aplicar transformações antes da modelagem.
    • Em nosso exemplo, a série não é estacionária e vamos transformá-la em estacionária mais adiante.
  • Isso vale para qualquer série temporal.